SpecPilot：投机解码的自主算法发现与系统优化
🧭 投机解码 · 自主 Agent 优化
University of California, Berkeley · Princeton University · Stanford University · NVIDIA
用自治 Agent 循环自动发现投机解码的算法与系统优化，单请求加速比提升 2.4 倍、批处理提升 2 倍
📌 工作参考价值（4 点）
- 用 cost model 定位部署瓶颈：在电商/推荐 LLM 推理服务中，单请求 vs 批处理、不同 GPU 上的优化重点不同，可先构建理论 ceiling 模型，自动识别当前系统最大可优化 gap，避免盲目调优。
- Token forcing 防 reward hacking：在自主优化或自动调参时，逐 token 对比基线输出确保无损，可借鉴到在线模型自动更新、推理参数搜索等场景，防止质量劣化。
- 批量场景的分级验证与合并机制：论文发现的两级验证和三种 batching 机制可迁移到多租户推荐请求合并处理，降低 per-request overhead，提升吞吐。
- 12-bit 无损权重格式：如果验证可行，可直接应用于部署中的大模型量化，在保证输出质量前提下节省显存、加速 decoding。
预填充解码长度预测的基本极限
🧭 LLM推理调度与基准协议
Xi'an Jiaotong University · Shandong University
揭示解码长度预测中的系统误差主导性，推导出所有基于预填充的方法必须遵守的统计界限
📌 工作参考价值（4 点）
- 在 LLM 生成式推荐或 Agent 对话系统中，解码长度预测可用于响应时间预估、超时设置与批量调度；可直接借鉴论文中的正态/CLT 模型对长度分布建模，用均值和方差快速估算尾部风险，无需部署复杂预测器。
- 评估任何解码长度预测模型时，必须固定模型版本、数据分布、采样参数（temperature/top-p/top-k），否则预测精度数字不可比；应同时报告相对误差指标，避免被绝对 MAE 误导。
- 若要在业务中优化推理资源或做容量规划，先训练一个简单 MLP 逼近理论界限，作为系统误差基线；若复杂模型（FiLM、MoE 等）无法显著超过该基线，则不需要引入额外复杂度，节省工程成本。
- 方差律 σ=αμ+b 可直接用于线上 SLA 估算：只需统计平均解码长度即可估算方差区间，辅助确定告警阈值、超时上限以及 GPU 并发调度策略。
MoE 解码的通道选择无需校准数据
🧭 MoE 推理加速 · 通道选择
KAIST · DeepAuto.ai
证明 MoE 通道选择用 top-k 即可，无需离线校准阈值；并提出基于模型权重的三值草图+低秩恢复读取器，以 17.8% 读取量保持 98.1% 精度
📌 工作参考价值（4 点）
- 部署 MoE 大模型做电商/推荐场景的在线推理或 Agent 时，通道选择直接采用 top-k 分数筛选，不必维护离线校准阈值；阈值会因输入分布变化导致实际读取比例漂移（文中 18% 预算实际仅读 12.9%），top-k 则天然固定每 token 读取预算，便于做延迟 SLO。
- 若沿用阈值方案，需警惕生成任务中的重复循环崩溃，尤其在长文本/Agent 多轮输出中风险更高；可优先切到 top-k，并用生成类 benchmark 而非只看困惑度验证。
- 文中 reader 完全从模型权重构造，用 ternary sketch 筛选通道 + low-rank map 恢复被跳过通道，不依赖校准集；这可作为无校准数据的稀疏化插件，适合线上数据分布频繁变化的场景。
- Triton kernel 在 batch 1 比 vLLM 快 1.60–1.90×，大 batch 达 2.69×；如果自建 MoE 推理服务，可参照其通道读取+恢复实现，在 interactive decoding 小 batch 场景降低 expert weight 读取带宽。
ProVe：提案者-验证者解码
🧭 LLM 推理加速 · 提案-验证解码
把大模型微调为一次预测多 token 的 proposer，再以小模型或自身验证，取得 2.5–2.7× 解码加速
📌 工作参考价值（4 点）
- 在延迟敏感的 LLM 在线服务（商品描述生成、query 改写、对话推荐）中，可把已有 AR checkpoint 继续微调成 block proposer，一次 forward 生成多个后续 token，省去额外 draft head，直接降低串行 forward 次数。
- 若业务要求输出与 greedy AR 完全一致，采用 ProVe-lossless 自验证；若允许少量精度损失换吞吐，则接一个小 verifier，这样部署时可以按 QPS 目标动态切换档位。
- 对 Agent 多步推理或工具调用场景，长轨迹生成可让大模型一次起草多个步骤或工具参数，再用轻量 verifier/规则引擎快速校验前缀，减少交互轮次。
- 注意 block size 与接受前缀的关系：论文 block size 16 只有 6.6 token 平均匹配前缀，实际部署需按领域调 block size 并监控接受率，避免无效计算。
DLite：面向 Agentic AI 的无历史投机解码框架
🧭 LLM 推理加速 · 历史无关投机解码
Shanghai Jiao Tong University · Shanghai Innovation Institute · Tsinghua University · Infinigence-AI
DLite 复用目标模型隐藏状态进行局部投机预测，避免维护历史 KV cache，在 agentic 任务中接受长度达 2-6 并超 DSpark 最高 70%
📌 工作参考价值（3 点）
- 在电商/推荐系统的多轮对话 agent（如客服、导购）中，长历史上下文会让 draft model 接受长度骤降且 KV cache 开销大；可借鉴 DLite 的 history-free 思路：不单独维护 draft model 的历史 KV cache，直接复用 target model 的隐藏状态做局部预测，大幅降低显存和延迟。
- 两阶段训练策略（先对齐隐藏状态再训练 sequential head 恢复块内因果依赖）适合训练自定义轻量 draft 模块，在效果和资源间取得平衡，可复用于需要低延迟的在线推理服务。
- 局部简单预测替代全局上下文建模，在 agentic 多轮交互中接受长度仍能保持 2-6，说明牺牲部分长程依赖换取更低的系统开销是可行的工程折中，适合高并发场景。
驾驭激活波：分析 LLM 隐藏状态信息与几何以支持推测解码
🧭 LLM 推理加速 · 推测解码层选择
Qualcomm AI Research · Stanford University
提出基于矩阵熵与 CKA 的 LLM 多隐藏层选择框架，在 EAGLE3 推测解码中优于固定层选择
📌 工作参考价值（4 点）
- 在 EAGLE3 类推测解码中不要盲用 [2, N//2, N-3] 等固定层，可用矩阵熵（informativeness）+ CKA（diversity）选择低冗余、高信息层，改善 draft 模型质量与加速比。
- token-entropy filtering 可过滤低预测熵 token 后再计算层选择统计，避免高频简单 token（如电商搜索中的常见 query、模板化文案）污染层重要性评估。
- CKA 跨层相似度分析能定位 decoder 中的几何/信息 compartment，帮助工程上决定哪些层适合共享、蒸馏或做 KV cache 优化。
- 对于用 LLM 做实时生成式推荐、搜索词/广告文案生成的业务，选择 hidden states 子集而非全部层，可在不显著掉质量的情况下减少 draft 模型输入维度，节省推理成本。
PreSTO：预测子树预取加速 LLM 幂采样
🧭 LLM 推理加速 · 幂采样预取
University of Texas at El Paso · Georgia Institute of Technology · Morgan Stanley
将 MH 串行接受/拒绝展开为决策树批量预取，不改转移核，加速 LLM 幂采样 1.7-2.3 倍
📌 工作参考价值（4 点）
- 若业务在 LLM 推理中采用 self-consistency / best-of-n / 拒绝采样（含 MH 接受/拒绝），可将串行“提出-判断”展开为决策树，用一次 batch 请求预取多个可能分支，再沿原始接受规则回放，分布不变但大幅减少模型调用轮次；适用于生成 item 标题、搜索 query 改写、广告文案等多候选投票场景。
- 预测性子树遍历规则：用轻量模型预测哪些分支更可能带来更多有效转移，优先预取高收益子树，减少无效 KV cache 与计算；在 Agent 多轮推理、RAG 多跳 query 改写中可借鉴“先预测路径价值，再决定 speculative 分支”的思路。
- 工程核心是 batch 内做子树级 speculative execution 并保证 kernel 不变，无需改模型或采样器；已有推理框架若支持 batch prefill/continue，可低成本实验。
- 整体偏学术，若业务对延迟不敏感或没有大规模 MH 采样，直接收益有限；主要价值在 LLM inference optimization 的方法论。
并行草稿上下文校正用于投机解码
🧭 LLM 推理加速 · 投机解码
DCOCO通过并行上下文评分恢复并行草稿块内依赖，在多种解码设置下取得最高吞吐，最高6.6倍加速
📌 工作参考价值（4 点）
- 若在线上用 LLM 做搜索 query 生成、商品文案、Agent 对话等文本生成服务，可引入投机解码降低首 token 延迟，DCOCO 的并行上下文校正比顺序校正更适合高并发请求，实测 4–32 并发下提升 6–23%。
- DCOCO 在保留 drafter 并行性的前提下，通过轻量 scorer 恢复块内 token 依赖；类似思路可用于生成式推荐的 beam search / 候选生成，在保持并行推理的同时加入相邻候选的相容性打分，避免完全独立采样导致的低质量序列。
- 部署时要关注 drafter 与 verifier 的 KV cache 管理，DCOCO 的候选打分机制只增加很小开销，适合与 continuous batching / vLLM 等 serving 框架结合。
- 顺序校正（如逐个用上下文修正）在高并发下可能因为 kernel launch 开销反而退化，选择并行打分方案更稳。
循环投机解码：让多次草稿共用一次验证
🧭 LLM 推理加速 · 投机解码 ★ 深度解读
NAVER AI Lab · NAVER AI Search Platform · Korea University
DLoop 让一次验证覆盖多个草稿阶段，通过置信度门控与 loop-aware 训练，在多种投机解码上把 wall-clock speedup 提升 5–41%
📌 工作参考价值（4 点）
- 如果线上 LLM 链路（query 改写、商品/广告文案生成、推荐理由生成）采用 speculative decoding，可在 drafter 后加置信度门控：对每个 draft block 累加 log probs，与阈值比较决定是否再 draft 一轮；不增加模型和模块，只增加少量 draft forward cost，能减少 target model 验证次数，尤其适合草稿接受率高的结构化/模板化输出。
- 对已有的 EAGLE/MTP 自回归 drafter 或 DFlash/Domino/DSpark 并行 drafter，可以按 DLoop 做 loop-aware 微调：训练时用 draft model 自己的 hidden states 多轮 unroll，损失只加在最远端 block，N 取 3；不改变架构，可在既有 draft weights 上继续训练，显著提升长草稿链上的可靠性。
- 门控阈值 g 比较鲁棒，论文统一用 -0.5 或 -0.75；在业务数据上小规模扫描即可，不必训练额外 head。该方法也可与 tree verification 叠加：若已有 tree 推理加速，可沿最高分路径继续延长，进一步减少验证次数。
- 注意并发 serving 下增益会随 batch 负载上升而衰减；建议在低并发、长尾或单请求延迟敏感的场景使用，或结合动态批调度/regrouping 优化。
WUSH-KV：数据自适应变换的 KV Cache 低比特量化
🧭 LLM 推理优化 · KV Cache 量化 ★ 深度解读
Institute of Science and Technology Austria (ISTA) · ETH Zürich · Red Hat AI
用 WUSH 数据自适应可逆变换对 KV cache 做低比特量化，2-bit 下 Qwen3-8B 全面优于 OSCAR
📌 工作参考价值（4 点）
- 对需要长上下文/高并发 LLM 服务的推荐与 Agent 系统，KV cache 内存是主要瓶颈。可借鉴将可逆变换与量化解耦：校准阶段按每个 head 的 Gram 矩阵（缓存张量自身统计）+ Hessian（下游消费者敏感度）构建变换，允许非正交各向异性缩放，比固定 Hadamard/随机旋转在 2-bit 下显著降低误差。类似思路可用于用户/物品 embedding 缓存或特征存储的低比特压缩，关键是 Hessian 选下游任务对扰动的敏感度。
- 值侧变换可在离线折叠进权重（V→WV、WO），在线零额外开销；键侧变换因 RoPE 无法折叠，放在 RoPE 之后，每新增 token 只多做一次 d×d 矩阵乘。工程上优先折叠 value 侧，key 侧用固定在线 transform，避免逐位置补偿。
- 保留 sink token 和最近 token 的 FP16 窗口（例如 sink=64, recent=256）并用批量量化 flush（chunk 8/16）可在大幅降低平均位宽时保护长上下文和生成质量；该策略与具体量化器无关，可直接迁移。
- 校准只需 128 条序列、一次完成，跨 bitwidth 复用；量化器可选 QuEST 或 OSCAR-style percentile-clipped affine，证明 WUSH 与 QuEST 搭配接近最优。在 SGLang 中集成时，可沿用 OSCAR 的 cache 管理策略，不必为 WUSH 重新调参。
DoSA：点稀疏注意力无损剪枝加速长上下文索引器
🧭 LLM 稀疏注意力推理加速 ★ 深度解读
Dots Studio, Xiaohongshu Inc.
为有符号多哈希索引器构建可证上界，利用种子阈值无损筛除多数 key，避免全头打分，长上下文预填充最高快 2.74 倍
📌 工作参考价值（4 点）
- 在长用户行为序列/商品库的 LLM 检索或生成式推荐中，可借鉴“种子阈值+分数上界”的无损剪枝：先用少量头部或代理模型计算上界，只对可能进入 Top-K 的候选项算完整分，避免全量打分。特别适合有符号多目标融合打分，负头不能简单丢弃时，用激活频率支撑聚合保住下界紧度。
- 工程实现可复用：将剪枝与 GPU kernel 融合，规则 screening 用 Tensor Core，SIMT 做 bound 评估和候选 compact；refinement 阶段同组查询共享 key 加载，稀疏写回只写达到阈值的记录，明显降低 HBM 带宽。若自建长上下文检索/推荐打分服务，这套数据流可直接参考。
- 成本分析给了一个重要信号：上下文越长，选择 token 的索引器占比迅速上升（~1M 时 73%-90.8%），加速索引器比加速注意力本身收益更大。用 Amdahl 定律可提前估算优化收益，避免把力气花在低占比模块。
- 解码阶段利用时间相干性，用近期选中 key 的分数做阈值下界，压缩选择输入，这种“候选记忆 + 阈值预测”思路可迁移到实时推荐/搜索的候选生成与重排中，减少重复打分。
MILO：基于块级低秩压缩的高效多示例上下文学习
🧭 LLM 推理 · KV cache 低秩压缩
Google · University of Central Florida
利用块级低秩压缩和基于信息熵的动态秩分配，将多示例ICL的KV缓存降低50%、吞吐提升1.8倍
📌 工作参考价值（3 点）
- 在电商推荐/Agent场景中，常需将用户历史行为、商品描述或工具调用日志构造成超长上下文做 many-shot ICL，KV cache 内存是线上服务瓶颈；可借鉴 MILO 的块级低秩压缩，对 KV cache 分块进行 SVD 低秩近似，减少显存占用并提升吞吐。
- 动态秩分配策略：根据信息熵（或实际可用的 attention score 分布）评估每个块的重要性，对高信息密度块保留更多秩，对冗余块大幅压缩；这一思想可迁移到推荐系统的长序列用户建模或 Agent 对话历史压缩，避免均匀压缩导致关键信息丢失。
- 工程实现上，MILO 在 Qwen2.5 上达到 50% KV cache 内存降低和 1.8× 吞吐提升，且分类/推理基准性能几乎无损，说明低秩压缩可作为 LLM 在线推理的默认优化手段，尤其适合广告/推荐场景中的大模型 serving。
可水印的多草稿投机采样：基于泊松过程
🧭 LLM 推理加速 · 无偏水印 ★ 深度解读
Imperial College London · University of Washington
利用泊松过程实现多草稿投机采样，同时嵌入无偏水印且不损失采样效率
📌 工作参考价值（4 点）
- 对于线上 LLM 生成服务（商品描述、广告文案、对话等），可直接采用该框架：用 target 大模型 + 轻量 draft 模型做投机采样，在几乎不增加延迟的情况下嵌入可溯源水印，满足合规与内容审核需求。
- 多草稿和 drafter invariance 特性对持续迭代友好：升级或替换 draft 小模型不会改变 target 输出（给定随机种子），保证线上 A/B 测试一致性和缓存可复用，降低回归风险。
- 泊松过程 / 指数竞赛的无偏采样器可迁移到生成式推荐中的语义 ID 采样：从分布中精确采样多个候选，且 keyed randomness 便于 A/B 分桶或水印注入。
- 检测指标 ANLPPT 及其统计检验方法可直接用于评估生成文本的水印强度，在 UGC 内容溯源、广告文案防伪等场景具有工程借鉴价值。
何时复制：用模型内在信号控制投机解码
🧭 LLM 推理加速 · 投机解码
SwitchSD 用轻量探针识别 LLM 的复制意图，动态切换神经草稿与上下文复制，吞吐最高提升 15%
📌 工作参考价值（4 点）
- 在部署 LLM 推理服务（如推荐文案生成、Agent 工具输出）时，可借鉴 SwitchSD 的 copy-intent 探针：对目标模型中间层训练轻量分类器，判断当前 token 是否应从上下文复制，避免 Prompt Lookup Decoding 的误触发。
- 对于大量 copy 场景（商品描述扩写、基于历史行为生成推荐理由、模板填充），混合策略明显优于单一神经草稿；用 hidden-state probe 代替 n-gram 重叠启发式，可减少意外重复。
- 工程上可将 EAGLE/PLD 作为两个 draft 后端，通过探针分数做低成本路由，无需重新训练主模型；如果业务里 copy 密度高，预期可获得 10%+ 吞吐提升。
- 可复用的结论：copy 不是一个表面 n-gram 模式，而是 LLM 内部可检测的控制信号；把复制判断从规则升级为模型感知，能直接提升投机解码效率。
hLLM：单次前向解码生成式重排
🧭 生成式重排 · 匈牙利解码 ★ 深度解读
Meta Platforms, Inc.
用匈牙利算法从 LLM 隐状态矩阵直接解出排序序数，以 O(1) 次前向替代逐 token 自回归解码，实现 28ms 近无损重排
📌 工作参考价值（4 点）
- 重排场景可将 LLM 输出从「逐 token 生成序数」改为「prefill 隐状态 → N×K 分数矩阵 → 匈牙利/LAPJV 求解」，推理从 O(N·T) 降为 1 次前向；N≤50 时 solver 在 CPU 约 0.008ms，适合广告/电商候选集实时重排。
- 训练用离线 teacher 蒸馏：大模型对每个 slate 生成完整排列，学生用 Sinkhorn 交叉熵拟合；无需在线 rollout，避免 exposure bias，蒸馏工程成本低。
- 自注意力 scoring head 表现最好：candidate 表示过 2 层 self-attention 再投影到 K 个位置，优于线性 probe 和 slot-query；LoRA 适配 backbone 后优势更明显。
- 去除 teacher 的 reasoning trace 对排序质量几乎无损失，可直接输出序数，省去大量解码 token；LoRA 是吸收排列蒸馏信号的关键。
语言模型可以控制自身注意力
🧭 LLM 长上下文稀疏注意力 ★ 深度解读
KAIST AI · Google DeepMind
提出声明式注意力协议，让模型在思维链中显式声明注意力范围，零训练实现长上下文稀疏注意力
📌 工作参考价值（4 点）
- 在长上下文多轮对话（电商客服、购物助手、推荐解释 Agent）中，把历史对话、商品信息、检索结果切分为可寻址片段，让模型通过 <focus> 标签声明需要关注的片段，可减少 50% 以上的 KV cache 读取，适合大 batch 在线服务降延迟。
- 与 RAG/工具调用结合：将检索到的商品/广告/知识片段作为模拟工具返回的“magic chunk”，模型在推理中自行选择关注哪些片段，避免每步全量扫描，可显著降低多文档推理成本。
- 工程上可直接复用论文的 vLLM 集成思路：通过 hook 改写 KV cache block table 实现块对齐掩码，不改内核、兼容 FlashAttention，适合快速在现有推荐/搜索 Agent 服务中落地。
- DA 的注意力计划以文本形式输出，可审计模型在推荐解释、搜索排序中具体关注了哪些输入，用于优化上下文构造和检索策略；未来还可结合 KV cache offloading 实现可逆上下文压缩，适合长会话 Agent。
超越并行盲区：块草稿中的信息地板与模型差距
🧭 LLM 推理加速 · 块草稿信息瓶颈
University of California San Diego
区分块草稿的固有信息损失与草稿器模型差距，量化短程条件可消除的上限损失
📌 工作参考价值（4 点）
- 在电商/Agent 的 LLM 推理服务中上 speculative decoding 时，先估计目标模型在目标块大小下的信息地板，判断草稿器是受信息约束还是模型能力限制；不要只凭 accepted length 做调优决策。
- 全并行块草稿的最后槽位信息损失上限约 0.286，考虑对块内前几个 token 采用串行或半串行生成（哪怕多一次前向），可移除 86–100% 的地板，对延迟敏感的对话式推荐/Agent 响应可能收益明显。
- DFlash/DSpark 的拒绝主要来自模型差距而非信息缺失，说明提升草稿器对前序已实现 token 的条件建模（如增量更新隐藏状态）比盲目加大块大小更有效。
- 该方法可迁移到 Agent 多步 LLM 调用链中，用信息地板分析并行化提案的固有损失，优化工具参数生成、多候选推理的延迟与质量权衡。
ParaTempo：基于时序置信度的高效并行推理
🧭 LLM 推理 · 分支级动态计算分配
Shanghai Jiao Tong University · University of Pennsylvania
无需训练的异步并行推理框架，用时序置信度驱动分支剪枝/早退/分叉/投票停止，降延迟 21.8-32.2%、token 18.1-30.3% 且精度持平
📌 工作参考价值（4 点）
- 生成式推荐/Agent 多路径决策：可把“周期性探测答案分布 + 时序置信度”作为分支管理信号，替代 final consensus 或局部 token confidence，更早识别低质分支；适合电商复杂 Agent 的规划/工具调用、搜索 Query 多路改写投票等在线场景。
- 工程实现无需训练，异步不等待慢分支：对商品文案多版本生成、RAG 多路检索答案生成等，可借鉴“低置信剪枝 → 高置信早退 → 释放算力分叉新分支”的编排，降低 token 量与 P99 延迟。
- 时序置信度计算可复用：对每个分支按滑动窗口聚合最近 probe 的答案分布，度量 dominant answer 集中度，作为收敛预警/停止投票信号，比 token-level entropy 更稳定；在生成式推荐语义 ID 投票或用户意图多解评估中可试。
- 停止条件可参考 confidence-weighted vote 集中而非全分支完成，适合需快速响应、长尾分支拖累明显的业务。
TileMix：面向 LLM 推理加速的 Tile 中心混合精度注意力
🧭 LLM 推理 · 混合精度注意力 kernel ★ 深度解读
University of North Texas · Saint Louis University
通过 tile 分组路由 FP16/INT8 注意力计算，在保留 dense 连接的同时加速长上下文 prefill 并恢复质量
📌 工作参考价值（3 点）
- 长上下文 RAG / Agent memory / 多跳检索场景中，prefill 是延迟大头；可借鉴按 attention score tile 分组做混合精度（关键区域 FP16，其余 INT8），而不是整层 uniform INT8，能在质量和吞吐之间拿到更好 trade-off，且无需训练或改模型权重。
- 路由模板可直接复用稀疏注意力的空间先验（local band / global / random / SpTrans / BigBird），但只决定精度路径、不删除 token 交互；业务上可先用静态模板快速验证哪些位置对效果敏感，再考虑升级为自适应或 learnable 路由。
- INT8 KV cache + per-block scale 能降低显存和 decode 成本，同时 V 保持 FP16 做 PV 更新，工程风险较低；如果使用 FlashAttention-style serving，可参考其 shared online-softmax 状态与 bitmask constant-time 查找的集成方式，支持 GQA 和 variable-length batching。
全局仿真引导的动态算子调度实现高效多租户模型服务
🧭 多租户 LLM 推理的算子级动态调度
Xiamen University · Shanghai Jiao Tong University · East China Normal University · Tsinghua University
提出 SliceScheduler，利用全局映射图和模拟器进行算子级动态调度，提升多租户 LLM 推理吞吐 1.10-2.29 倍
📌 工作参考价值（4 点）
- 在部署 LLM-based 推荐/搜索服务时，容器粒度调度会浪费 GPU 碎片时间，可借鉴 SliceScheduler 将调度单位从容器细化到算子，利用短时空闲 slice 提升吞吐。
- 引入全局映射图（GMG）统一描述算子依赖、tensor 形状、资源映射和状态，方便实时全局视角做决策；自己的推理平台可以维护类似有向图，结合模拟器做 what-if 预测。
- 设计增量式模拟调度：生成候选 placement 后用模拟器评估内存和延迟，选择最优不违反 SLA 的方案，避免实际试错成本；可用于多模型混部或流量突增场景。
- 实现为 PyTorch backend，说明算子级调度可以透明集成到现有训练/推理栈，业务侧无需大幅改动模型代码。
DARTree：基于自回归草稿树的推测性扩散解码
🧭 LLM 推理加速 · 推测解码
VILA Lab, MBZUAI
将扩散块草稿与树形自回归校正结合，训练无关地提升推测解码接受长度与加速比
📌 工作参考价值（4 点）
- 对线上部署 LLM 做生成式推荐（商品文案、推荐解释、对话式导购、搜索 query 改写）的团队，可直接把 DARTree 作为即插即用的推理加速层：训练无关，只需预训练 AR 校正头，无需额外训练成本，且保持无损输出分布。
- 借鉴其“固定宽度候选树 + 批量扩展评分”的工程 trick：把树节点扩展和 AR 校正头推理合并为单个 batch，避免逐节点堆排序的串行开销，适合在 GPU 上高并发执行，有利于降低在线服务延迟。
- 扩散草稿器做块级并行预测时，其边际分布需通过树形 AR 校正来恢复因果条件，这对其他使用扩散/非自回归草稿的加速方案有参考意义：不要只用单一链式校正，树形候选能显著提高接受长度。
- 注意该方法主要针对通用 LLM 解码，对传统推荐模型的排序、召回无直接帮助；但其加速比（最高 9.73x）在 LLM 参与的推荐链路里能有效缓解推理瓶颈。
减少矩阵乘法：面向 LLM 推理的输入自适应矩阵积降维
🧭 LLM 推理加速 · 动态矩阵乘剪枝 ★ 深度解读
University of Chicago · Stony Brook University · Independent Researcher
提出训练无关、输入自适应的 RMM，通过激活 L2 范数 TopK 收缩乘轴，以可预测方式加速 LLM 推理
📌 工作参考价值（4 点）
- 在线服务 LLM 推荐/Agent 时，可优先对 attention 内部 QK^T / PV 做按输入 L2 范数的 TopK 降维，RR 0.8 左右通常几乎无损；MLP 保持保守，避免模型崩溃。
- 用 retention ratio 作为统一算力档位，线上可按 QPS/延迟动态调节，获得平滑可控的精度-效率折中，适合流量峰谷调度。
- 实现时用 Triton 融合 norm+TopK+gather+GEMM，避免选择开销抵消收益；长序列（>2048）下加速更明显，更适合长用户行为摘要/推荐解释生成。
- 动态 per-token 维度选择比静态子空间更稳；工程上可在 prefill 后固定或定期刷新，减少逐 token TopK 开销。
AngelSpec: 面向真实负载的推测解码训练与部署框架
🧭 推测解码 · 多策略协同与自适应验证 ★ 深度解读
Tencent Inc.
针对负载异构，专业化MTP与块扩散drafter，配合自适应验证深度，在Hy3-21B上实现1.98–2.40倍加速
📌 工作参考价值（4 点）
- 若业务LLM服务需加速（如推荐解释生成、query改写），可借鉴“工作负载特化”思想：为闲聊等高熵场景训练MTP drafter；为代码生成等低熵场景训练块扩散drafter，提升接受率。
- D-cut的自适应验证深度策略可迁移至Agent多步推理：根据请求置信度与系统负载动态决定LLM生成步数，平衡响应时间与质量，避免固定budget浪费。
- 训练技巧：Training-Time Test（TTT）和基于总变差距离（TV loss）的损失函数可有效缓解drafter分布偏移，对低延迟场景（如在线推荐）有直接应用价值，可复用其接受率对齐训练范式。
- AngelSpec开源训练框架支持多drafter联合训练与评估，降低企业自研推测解码方案的门槛，适合多领域LLM应用的快速实验。
重新审视投机解码中的有损验证：机制、权衡与失效模式
🧭 LLM 推理加速 · 有损验证分析
Independent Researcher · Baidu Inc. · Zhejiang University
将有损验证方法分为截断式和协作式两类，揭示截断式分布失真的性能衰退风险与协作式需控制过度超出的关键准则
📌 工作参考价值（3 点）
- 在电商对话推荐、Agent 推理等延迟敏感场景使用投机解码加速时，应优先选择协同验证等保持分布一致的方法，避免直接用截断式验证造成输出质量剧烈下滑。
- 若必须用截断式验证（如严格时间限制），需通过校准目标概率与草案概率的差距，设置阈值避免过度截断，减少分布失真。
- 评估加速效果时，务必以真实的目标模型采样（而非错误基线）作为对照，否则会严重误判方法优劣。
大规模LLM推理的可证明安全高效聚类
🧭 高效聚类 · LLM推理加速 ★ 深度解读
Amazon
两阶段聚类通过贪心集合覆盖确保每用户与代表相似度达标，实现50倍LLM推理成本缩减
📌 工作参考价值（4 点）
- 当需要对海量用户接入LLM时，先用Mini-batch K-Means粗分，再在各簇内贪心选取代表，强制相似度≥α且属性完全匹配。该策略复杂度$O(n^2 d/K)$，调大初始簇数$K$可线性加速并降内存，适合千万级用户场景。
- 贪心选择的簇大小高度偏斜，可主动丢弃长尾小簇（例如仅保留4%的簇覆盖90%用户），进一步压缩下游推理量，配合上游过采样补偿掉落的用户。
- 对合规属性（如年龄、性别）直接在匹配矩阵中要求相等，提供可证明保证，杜绝跨属性推荐风险，适合电商推荐中安全滤波环节。
- 生产验证表明用户-代表embedding相似度与推荐相关性高（Pearson r=0.781），可直接用相似度阈值替代代价高昂的LLM评估，节省质量评估成本。
DSpark：半自回归生成与置信调度推测解码
🧭 推测解码 · 半自回归 · 置信调度 ★ 深度解读
Peking University · DeepSeek-AI
半自回归架构缓解并行预测因果衰减，置信调度动态剪枝低信心后缀，系统吞吐与交互速度显著提升
📌 工作参考价值（4 点）
- 半自回归草稿架构：在并行骨干后追加轻量马尔可夫/RNN头，仅引入极低延迟开销（<2%），大幅缓解并行预测的多模态冲突和接受率衰减。类似思路可用于电商搜索推荐中的对话助手、自动回复生成等低延迟场景，在保持并行速度的同时提升生成连贯性。
- 置信度驱动的动态调度：通过置信头估计前缀生存概率，结合硬件吞吐曲线动态选择验证长度，让高并发下自动回收低信心token的计算资源。在推荐系统的消息推送、搜索词改写等LLM调用中，可借鉴此机制，根据服务负载动态调整生成预算，避免盲目固定长度造成的容量浪费。
- 异步调度与核函数解耦：生产部署中采用历史预测近似当前容量，延迟调度与CUDA图回放兼容，同时通过展平序列与标记张量实现变长验证的高效执行。工程上为推荐系统的LLM推理服务（如推荐理由生成、用户查询补全）提供了可行的低开销动态批处理方案。
- 顺序温度缩放校准：对累积置信度进行逐位置校准，使生存概率估计更准确，支撑硬件感知调度。该校准方法可直接复用于需要可靠概率输出的在线调度场景，如流量分发、个性化推送的置信过滤。
KVpop：预测式在线剪枝的键值缓存压缩
🧭 LLM 推理 KV 缓存压缩与剪枝
NXAI · Johannes Kepler University Linz
通过监督未来注意力信号学习固定预算的 KV 缓存淘汰策略，结合延迟评分器，在推理任务上以高压缩比保持性能
📌 工作参考价值（4 点）
- 在电商搜索/推荐系统的 LLM 推理中，KV 缓存是长上下文（如用户行为序列、多轮对话）的瓶颈，KVpop 的固定预算淘汰策略可直接应用于减少显存占用，支持更长上下文而不崩溃。
- 延迟记忆评分器思路可借鉴：对用户行为序列建模时，不急于丢弃近期 token，等积累更多上下文后再判重要性，更准确地保留关键信息（如近期点击可能关联后续购买意图）。
- 未来注意力监督的训练方式可迁移到“查询预判”场景：训练一个小型打分器预测 token 对未来查询的效用，用于动态压缩 RAG 召回文档或对话历史。
- 工程部署中，KVpop 固定预算保证了内存使用上界，适合线上服务稳定运行，可集成到 vLLM 等推理框架中，降低大规模部署成本。
投机解码中草稿接受准则的理论分析
🧭 LLM 推理加速 · 投机解码理论
Independent Researcher
为贪婪与放松接受下的投机解码提供基于 KL 散度的接受证书，覆盖树形解码
📌 工作参考价值（4 点）
- 若在推荐系统中部署 LLM 进行实时生成（如对话式推荐、解释生成），可借鉴放松接受准则（加性/乘性/top-m 放松）提升 draft 接受率，降低延迟。
- 树形解码允许多候选并行验证，在目标分布较平坦时仍能保持较高接受概率，适合对延迟敏感的场景，可直接工程化。
- 论文给出的基于 KL 散度和 margin 的接受条件，可用于离线评估 draft 模型质量，指导模型选择与阈值设定，平衡质量与速度。
- 对于需要确定性输出（不要求分布完全匹配）的推送文案生成、搜索词改写等任务，可直接应用贪婪+放松的投机解码，无需额外校准。
通过模型内路由的分层验证推测解码加速
🧭 推测解码 · 分层验证 · 模型内路由 ★ 深度解读
Zhejiang University · Agency for Science, Technology and Research (A*STAR) · National University of Singapore
引入从大模型内部路由出的轻量分层验证器，处理中等置信度 token，减少大模型调用，提升推测解码速度 10-20%
📌 工作参考价值（4 点）
- 分层验证思路可迁移到电商推荐多级排序：用轻量模型初筛，中等模型精排，大模型处理疑难 case，降低整体延迟。
- 模型内路由（DIMR）允许从大模型直接裁剪出轻量验证器，无需额外训练或独立模型，利于内存受限的线上部署。
- 利用 KL 投影设计中间验证器置信度阈值，指导业务中质量-效率权衡的参数调节。
- 方法兼容现有 draft-verify 框架，可即插即用增强生成式推荐中 token 序列的生成速度。
FlashMemory：基于前瞻稀疏注意力的超长上下文KV缓存压缩
🧭 LLM 推理优化 · 稀疏注意力
Tencent · The Hong Kong University of Science and Technology (Guangzhou) · Tsinghua University · Independent Researchers
提出前瞻稀疏注意力与神经记忆索引器，将KV缓存压缩至13.5%且准确率无损
📌 工作参考价值（4 点）
- 借鉴“前瞻记忆索引”思想，在需要维护长历史对话或用户行为的电商推荐Agent中，可训练轻量级索引器预测未来需要的记忆片段，而非保存全量状态，大幅降低内存开销。
- 解耦训练策略值得工程化：索引器作为双编码器，用标准检索训练框架单独训练，无需加载主模型，可快速迭代，特别适合将记忆管理模块插入已有生产模型。
- 稀疏注意力去噪效应提示：在长序列推荐建模（如用户长期行为序列）中，只保留与当前查询相关的关键交互，可能去除无关噪声，提升模型精度。
- 对于超长上下文场景（如多轮Agent对话、长文档分析），KV缓存压缩率超90%且稳定性保持，可直接指导自研LLM推理引擎的显存优化。
Domino：解耦推测解码中的因果建模与自回归草稿
🧭 推测解码 · 推理加速
EPIC Lab, Shanghai Jiao Tong University · School of Software Engineering, HUST · UESTC · Fudan University · Huawei
通过并行草稿骨干与轻量因果细化头解耦因果建模，配合基锚定训练，实现最高5.49倍端到端加速
📌 工作参考价值（4 点）
- 在电商对话Agent或推荐理由生成等实时LLM场景中，可借鉴Domino的并行草案+轻量因果头架构，以低计算成本引入块内依赖，提升整体吞吐。
- 基锚定训练课程（先巩固并行骨干再渐进加入因果信息）可迁移到多阶段推荐模型训练，避免直接引入强因果约束导致的不稳定。
- 解耦设计思路：将生成过程中的耗时顺序建模替换为并行初稿→顺序修正，可推广到多Agent协作中的子任务规划与结果校准。
- 工程上，Domino在SGLang服务中的实现展示了如何将推测解码无缝集成到生产级推理框架，对电商中大批量请求的LLM服务优化有直接参考价值。
Draft-OPD：投机草案模型的在线策略蒸馏
🧭 投机解码 · 在线策略蒸馏 ★ 深度解读
Shanghai Jiao Tong University · Shanghai AI Laboratory · Tsinghua University · The Chinese University of Hong Kong · Peking University
提出 Draft-OPD，通过错误位置重放的在线蒸馏，解决草案模型 SFT 的分布偏移，将接受长度与加速比提升超过 20%。
📌 工作参考价值（4 点）
- 错误驱动的在线训练思路可迁移至生成式推荐：将物品推荐视为逐 token 生成，模仿草案模型接收目标模型验证的过程，对推荐序列中被“拒绝”的错误 token 进行重播与针对性蒸馏，提升生成质量。
- 接受/拒绝的非对称 KL 设计可复用于轻量级打分模型：在排序或召回阶段，用目标模型（如大模型）监督轻量级模型时，对正确预测和错误预测分别使用 forward KL 和 reverse KL，让轻量模型更专注于自身易错模式。
- 利用验证阶段的暴露错误进行针对性训练：在 Agent 多智体协作中，可记录交互过程中被另一智能体“拒绝”的决策点，对这些状态进行重放学习，使策略模型更聚焦于合作失败的关键状态。
- 解耦 rollout 稳定性和策略信号的思想：在强化学习或蒸馏中，当学生无法独立生成高质量轨迹时，可借助教师辅助 rollout 维持稳定性，再通过锚点重放学生自身的错误决策，兼顾训练稳定与策略改进。
Pair-In, Pair-Out：统一输入压缩与输出多token预测的高效LLM推理
🧭 高效推理 · 输入压缩与多token预测统一 ★ 深度解读
Gaoling School of Artificial Intelligence, Renmin University of China · AI Platform, Xiaohongshu Inc. · University of Electronic Science and Technology of China · Institute of Automation, Chinese Academy of Sciences
通过对称的 pair-in 压缩和 pair-out MTP 头，用 on-policy 蒸馏免费训练的置信头替代验证器，实现精度不降的推理加速。
📌 工作参考价值（4 点）
- 将输入压缩与输出多token预测视为对称操作：若业务下游需部署推理流水线，可借鉴 PIPO 将 compressor 和 MTP head 镜像组合，降低工程复杂度，且可直接利用已有 MTP 模块。
- 用 on-policy 蒸馏的教师分布训练置信头，无需额外成本：在已有 OPD 流程中，教师/学生 token 概率天然提供 speculative decoding 的接受率标签，可零开销训练一个轻量 MLP 替代昂贵的 verifier 前传，适合电商/Agent 场景中高频推理的成本控制。
- 通过随机 padding 注入训练，让模型学会单双token灵活切换：业务中可能遇到不确定的 draft 质量，可参照 PIPO 的做法，在 SFT 阶段按比例插入 padding token，使模型获得拒绝 draft 的回退能力，提升可靠性。
- 在长上下文高吞吐场景优势明显：PIPO 的 TTFT 加速在长 prompt 时更显著（2K→2.64× @128K），适合需要处理长文档、多轮对话或复杂推理链的电商推荐解释、Agent 规划等任务。
基于性能驱动的自适应窗口策略优化用于投机解码
🧭 Training ★ 深度解读
提出PPOW框架，将草稿模型训练转为窗口级强化学习，结合性能奖励与自适应窗口采样提升投机解码效率